#Context Compression

4 篇

GistRank: Gist-Compressed Listwise Ranking with Large Language Models

GistRank：基于 Gist 压缩的大模型列表级排序

🧭 LLM listwise 重排 · Gist 压缩 ★ 深度解读

Southwest University · Renmin University of China · Yuanbao Team, Tencent · Institute of Computing Technology, Chinese Academy of Sciences

用三阶段训练将每个候选段落压成4个gist token，在TREC/BEIR上以约14倍加速逼近全文本重排效果

📌 工作参考价值（4 点）

把商品标题/详情/卖点用 Stage 1 的 query 预测目标预训练成 4 个 gist token，线上重排只拼接 gist，可将 100 个候选的 prompt 从 8k+ token 降到约 1.25k，延迟和 KV cache 占用大幅下降
借鉴 Stage 2 的 citation/click 偏好：在电商搜索中可用点击 vs 曝光、成交 vs 点击构造成对数据，训练 gist 或 item 表示具备判别性，无需昂贵人工标注；再用少量人工/LLM 标注做 Stage 3 listwise 微调
用 rank-slot + ListMLE 非自回归打分替代 LLM 自回归生成排序，可以把排序阶段从生成式 token 序列变成一个固定大小的打分矩阵，吞吐更稳定，适合在线 serving
注意成本结构：候选压缩占 90%+ 延迟，优先考虑对全量商品库离线预计算 query-independent gist 或做近似缓存，只在线对当前 query 做轻量融合/重排序

RecSys | 2026-10-29 | cs.IR | score 8/10

压缩所见而非所说：面向隐式观测软件工程 Agent 的锚定上下文蒸馏

🧭 Agent 上下文压缩 · 软 token 蒸馏

Peking University

LOHA 布局与 ACD 训练法将长工具观测压缩为软 token，在 SWE-bench 上降低 43-57% 上下文且性能损失较小

📌 工作参考价值（4 点）

在电商/推荐 Agent 中，工具返回的商品列表、搜索结果、用户行为日志等长文本可压缩为软 token，保留最近 K 条原文供模型精确引用（如商品 ID、价格），可显著降低上下文长度，提升并发吞吐。
采用“锚定蒸馏”思路：在压缩上下文训练时，加入普通文本输入的对齐损失，避免模型在压缩后行为漂移，保持排序/推荐效果稳定。
上下文窗口有限（如 32K）时，压缩历史比截断更好：论文中同一模型在受限窗口下，压缩版解决率 21.1% vs 全文本 11.1%，说明历史信息压缩比简单丢弃更有效。
权衡压缩比与任务性能：K 越大性能越好但压缩率低，需根据业务对延迟和精度要求调节 K；对于需要精确匹配的场景（如商品 ID、用户 ID）保留最近观测很有必要。

Agent | 2026-09-25 | cs.AI | score 7/10

REVA：可复用证据视图聚合实现上下文高效 RAG 服务

🧭 RAG 上下文压缩 · 注意力挖掘与复用 ★ 深度解读

VinUni-Illinois Smart Health Center, VinUniversity, Vietnam · University of Illinois Urbana-Champaign, USA

挖掘历史查询-文档注意力聚合为可复用证据视图，以极低在线开销实现高质量 RAG 上下文压缩

📌 工作参考价值（4 点）

电商搜索/推荐 RAG 场景中商品、评论、内容文档重复检索率高，可离线挖掘目标 LLM 对文档的注意力，构建文档级 evidence score store，线上只做轻量视图渲染，将压缩延迟从百 ms 级降到几十 ms。
借鉴 word-unit 聚合：不直接存储 token 级分数，而是合并为可读词单元（保护价格、型号、日期等短结构化片段），避免输出碎片化，便于审计与 Debug。
采用 budget-agnostic 的 score store：同一份文档分数支持不同 prompt 预算；local 等额配额是默认安全策略，global 按历史效用重分配适合证据分布不均的多跳/对比类场景。
注意兼容性 key（generator/tokenizer/template/corpus version），避免跨模型或语料版本错误复用分数；可用异步更新和指数衰减应对 query 分布漂移。

RAG | 2026-09-10 | cs.IR | score 8/10

从检索上下文到运行时控制：边缘RAG的自适应压缩

🧭 RAG上下文压缩与边缘推理优化

Northeastern University

实测边缘RAG中固定压缩率不可靠，中间压缩率可降GPU能耗53.2%且质量损失可忽略，主张遥测驱动的自适应压缩

📌 工作参考价值（4 点）

在电商/广告的RAG型助手、搜索摘要或智能客服中，检索到的商品/内容上下文越长，prefill与KV cache成本越高；可引入LLMLingua-2等轻量压缩器先剪枝，再进入大模型生成。
不要用固定压缩率：按query长度、上下文冗余度、当前GPU/SoC能耗或尾延迟预算动态选择压缩率，中间档位往往比固定高压缩更划算。
把压缩器自身的延迟与能耗计入总账；端侧或边缘部署时，只有当生成节省明显大于压缩开销才启用，7B-8B模型下生成约占90%延迟，值得压缩。
可采集设备telemetry（GPU功耗、KV cache占用、QPS）作为运行时策略输入，在低负载时少压缩保质量，高负载或省电模式时提高压缩率。

RAG | 2026-08-20 | cs.IR | score 6/10